PAE PMDs must be made writable before freeing.

merge

merge

Updates to SV. New look. Removed and simplified lots of files.

merge?

The following patch is a major restructuring of main.py to be more straight forward, and remove as much code as possible.
It does a number of things:

* It implements the standardized options proposed via my RFC for xm
* It restructures the calling of these functions to be function pointers out
  of a dictionary, instead of subclasses found through inspection
* It consolidates all help info, making it easier to see that the help
  screen looks consistent across commands.  (Per command help isn't yet in
  this patch just global help)
* It moves object importing into the functions that require them only,
  allowing commands like "xm help" to be runable as non root
* It adds command aliasing to provide backwards compatibility with many
  commands (i.e. xm balloon)
* It provides more useful error messages is most fail cases
* It implements a short help by default (which takes < 24 screen lines) as
  requested by Mark W at OLS
* It attempts to trap more exceptions than before and provide useful errors
  based on them (this requires more testing)

This patch makes no changes to any other elements of xen/xm, and works with
all other objects and libraries as is.

Signed-off-by: Sean Dague <sean@dague.net>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

When building in separate object directory entry.o fails building
because entry.S includes syscall_table.S but it's in the wrong
directory.  This simply adds the obj-dir to the include search path.

Signed-off-by: Chris Wright <chrisw@osdl.org>

Fixes for x86/64 writable pagetables, including SMP
guest support.

NOTE: I removed some x86/64 specific tests from get_page_type().
I can't see what good could come of them -- if they caused
things to work then I'm pretty sure there must be some underlying
bug that is what ought to be fixed.

Signed-off-by: Keir Fraser <keir@xensource.com>

Restore suspend/resume calls for the control interface on suspend/resume.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't expose xenstore daemon-only permission bits through python bindings.
These bits are daemon-only, never come though to userspace.  We already
changed them once and broke compilation: better they had never been
referenced.
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Simple fix to getdomaininfo cpu_time calculation for
multi-vcpu guests. From Josh Triplett.

Fix page_to_phys() macro as suggested by Gerd.

That one is obviously needed to make pae xen-linux work with
more than 4GB.

Fix x86/64 xenlinux build. Remove stupid patch.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix signedness issue in xenlinux timer interrupt handler.
Signed-off-by: Keir Fraser <keir@xensource.com>

Really fix the x86/64 build. Get rid of push/pop from
scale_delta().
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix the x86/64 build.
Signed-off-by: Keir Fraser <keir@xensource.com>

Remove dead file.

Remove dead files.

Fix both Xen and XenLinux to correctly handle 64-bit
time deltas. Good for robustness and future-proofing.
Signed-off-by: Keir Fraser <keir@xensource.com>

1) More testing: include tests which I forgot in previous patch, remove
xs_watch_stress, reduce cycles in "make check" random test.
2) xs_crashme: corrupt random packets going to xenstored, watch it
crash.
3) Handle second input from before we finished output on first one.
4) Fix bug where one-arg operations are given zero args.
5) Fix bug where SET_PERMS fails after blocking on transaction.
6) Fix memory leak when DIRECTORY op given no argument.
7) Fail on first memory leak, for better testing.
8) Fix missing waiting_for_ack initialization for new connections.
9) Ensure all input and output is handled for domains so we don't stall.
10) Fix overrun bug in xs_count_strings on non-nul-terminated strings.
11) New test for clients which write without waiting for response.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Fix hw_resend_irq() -- IRQ_PENDING must be propagated back
to evtchn_pending[] bit during irq_enable, or the delayed
callback may never happen.
Signed-off-by: Keir Fraser <keir@xensource.com>

The attached patch adds -Werror to HOSTCFLAGS in Config.mk, makes
xen/tools actually use HOSTCFLAGS (it was already using HOSTCC), and
fixes some gcc-4.0 signedness warnings in xen/tools/symbols.c.

Signed-off-by: Josh Triplett <josht@us.ibm.com>

Attached is a patch to x86_64 xenlinux. It also includes cleanups. We
are also working on SMP + writable pagetable support now.
Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Writable pagetables for x86/64. Xen portion.
Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Really include renamed console files. :-)
Signed-off-by: Keir Fraser <keir@xensource.com>

Rename console binaries to xenconsole and xenconsoled.
Signed-off-by: Keir Fraser <keir@xensource.com>

this patch fixes X86_64 Xorg Xfree86 issues.
Signed-off-by: Xin Li <xin.b.li@intel.com>

Fix perfc_defn.h to allow multiple inclusion.

xend prints out some messages when starting, which is annoying. This
patch send those to xend log file instead - people want them always
know where to find them.

Signed-off-by: Nguyen Anh Quynh <aquynh@gmail.com>

More time-interface fixes.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix xenbus_read() usage in shutdown handler.

- include linux/vmalloc.h for vmalloc
- include grant table includes from common.h rather than blkback.c,
  since both C files use grant tables
- include linux/version.h from block.h (a macro there uses it)
- include asm-xen/hypervisor.h from block.h (virt_to_machine)

Signed-off-by: Matthew Chapman <matthewc@hp.com>

This patch changes the vcpu-hotplug handler from using control message
over to using xenstore for triggers.  Dropping the control messages also
fixes the issue with not being able to use xm vcpu-hotplug on dom0.

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

This patch changes the probe notifier, per Rusty's suggestion.  It
also converts the balloon driver to use the notifier structure, and
removes the root-watch workaround.

Signed-off-by: Dan Smith <danms@us.ibm.com>

This patch changes the shutdown driver and xend to use strings instead
of codes for signaling a shutdown request.

Also, we fix the return code for the shutdown notifier, so other
notifiers will get to run ;)

Signed-off-by: Dan Smith <danms@us.ibm.com>

Fix mach2phys table allocation for 32-bit PAE Xen.
Found by Gerd Knorr.

Fix xtime_lock handling to avoid deadlock in sched_clock().
Signed-off-by: Keir Fraser <keir@xensource.com>

No need to define errno defined at the top of reboot.c.
err2 is only needed when CONFIG_MAGIC_SYSRQ is defined.

Signed-off-by: Li Xin <xin.b.li@intel.com>

xenstored has had a testsuite for some time.  This splits the test
targets into "make -s check" (the GNU standard) which is designed to run
in several seconds or less, with only "<dirname>:" and a seried of "."
for output, and "make fullcheck" which is more verbose and complete, and
runs in minutes.

I plan to submit a patch to plumb these tests in at the top level soon,
with the idea of having a "make -s check" which you can reasonable run
every checkin (time make check << time make), and a "make fullcheck"
which you can run after significant changes.

This patch speeds up testing by making tests one single "xs_test"
script, enhancing xs_test with a simple "expect" command.  It also only
runs the "high value" tests under "make check", and leaves the rest for
"make fullcheck".

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

The C interface no longer has a priority arg, but the python interface
still takes one (and just doesn't use it).  Noone uses it anyway, so
nothing should break by taking it away.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Attached is a randomized tester for consoled.  It's a patch against
xen-unstable.hg but it doesn't add itself to any of the Makefiles but
just as a subdirectory of consoled.  There's a README in the directory
that should be read otherwise you won't be able to do anything useful
with it :-)

Right now, we can get pretty far before seeing data corruption.
Previously, we'd see it almost immediately (after ~600 bytes, which is
the max the control channel can hold before filling up).

It's actual general enough that it could be also used to test network
traffic corruption but there are certainly better tools for that.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Instead of queuing messages when the control channels are full, xcs just
does nothing (see ctrl_interface.c:ctrl_chan_write_request()).

The following patch throttles the rate in which consoled writes data to
xcs.  With the current values, you get a responsive console but avoid
data corruption in most scenarios.

I'm able to get pretty far in my regression test with this patch.  With
higher throttle values I'm able to get even further (but the console
becomes painfully slow).

I implemented proper control channel queuing in xenctld in VM-Tools and
it's pretty nasty stuff.  This should prevent corruption for most users
until we can get rid of xcs.

Regards,

Anthony Liguori

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com

xc_console is probably too chatty about termios failures since ssh
sessions apparently don't have proper term settings.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

The attached patch:

1. Converts the shutdown driver and xend to use the store instead of
   control messages,

2. Includes Anthony's xenstore notification code, and

3. Changes xend so that sysrq's are no longer sent as "special case"
   shutdown messages.  Store keys are cheap, so making the sysrq
   delivery less obscure is good.

I think I have made all of the appropriate modifications to Xend, but
it is complex, so I may have missed something.  Comments are welcome.

Signed-off-by: Dan Smith <danms@us.ibm.com>
Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Attached are
three patches to fix a problem with Xend starting consoled.  consoled
depends on xenstored to be running and xenstored is started on demand in
Xend.  The patches change xenstored to manage its own pidfile, and have
xend start actually start up xenstored.

Fix my previous patch to the trap-frame creation code
in Xen. I was clobbering an in-use register (AL): use
CH instead.
Signed-off-by: Keir Fraser <keir@xensource.com>

Merge

Fix event-upcall masking when creating a trap frame
on guest kernel stack. Previously an exception would
clear an already-set mask.
Signed-off-by: Keir Fraser <keir@xensource.com>

Blktap updates: request batching, O_DIRECT/AIO support.

This patch changes the blktap code mapping pages to user space to be
faster and to allow page lookups to foreign mapped pages through linux
to do direct io.  An AIO test driver on this achieves comparable
performance to the in-kernel block-backend.

Signed-off-by: andrew.warfield@cl.cam.ac.uk

Add missing parallax makefile.
Seems to have vanished in the directory shuffle of last month.

Signed-off-by: andrew.warfield@cl.cam.ac.uk
Signed-off-by: Nguyen Anh Quynh <aquynh@gmail.com>

Fix two syntax errors in frame-and-sect decoding macros.
Both are in the non-grant-tables cases of
cset ae51fa1d32b23066c4342bbeb5f4dc401b82ea37.

Signed-off-by: andrew.warfield@cl.cam.ac.uk

Fix iopl() syscall so that we pass LTP's iopl02 test.
Signed-off-by: Keir Fraser <keir@xensource.com>

The attached patch removes all of the console handling code from Xend
and changes xm to simply exec /usr/libexec/xen/xc_console.

I've done a pretty good amount of testing and this seems to clear up all
of the Xend console issues in bugzilla.

This is a pretty big change to Xend though with a lot of deleted code so
I'd appreciate if people more familiar with the Xend codebase could look
through it critically.

In addition to the patch, the following files are no longer used:

tools/python/xen/util/console_client.py
tools/python/xen/xend/XendConsole.py
tools/python/xen/xend/server/SrvConsole.py
tools/python/xen/xend/server/SrvConsoleDir.py
tools/python/xen/xend/server/console.py

Regards,

Anthony Liguori

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Here are another couple of places where 8 sectors/page is assumed,
which I missed in my first patch.

Signed-off-by: Matthew Chapman <matthewc@hp.com>

libxenstore (used to access the daemon) should be licensed under LGPL.
There are several people I am aware of interested in writing non-GPL
tools, and this code is trivial, so they'd just end up writing their
own.
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Merge.

Add linux 2.6.12.3 patch
Signed-off-by: ian@xensource.com

Move more drivers to bind_evtchn_to_irqhandler() interface.
The most important ones are all done now.
Signed-off-by: Keir Fraser <keir@xensource.com>

On x86, Xen does not claim any serial port unless the user
explicitly specifies a 'com1=' or 'com2=' configuration
string. This prevents users from being surprised when Xen
stops domain0 from accessing serial port registers.

On ia64 we still allow serial ports to get automatically
configured and locked down even if no 'com1' is specified
on the command line. This maintains the default preferred
by the IA64 developers.

Also, the method for specifying 'use existing baud rate'
has changed. Instead of specifying com1=0, you must now
specify e.g., com1=auto

Signed-off-by: Keir Fraser <keir@xensource.com>

Virtual device drivers use new bind_evtchn_to_irqhandler() call
instead of directly interfacing with Linux IRQ subsystem. This
allows them to be used in situations where the IRQ subsystem is
not paravirtualised.
Signed-off-by: Keir Fraser <keir@xensource.com>

MErge.

Merge,

The attached trivial patch fixes a spurious gcc-4.0 warning in
xen/arch/x86/mm.c when building the current hg tip.  Due to -Werror,
this breaks builds with gcc-4.0.

Signed-off-by: Josh Triplett <josht@us.ibm.com>

gcc-3.4/ia64 compilation fixes.

The ia64 parts of this patch are already in xen-ia64-unstable.

Signed-off-by: Arun Sharma <arun.sharma@intel.com>

1) Make more functions in io.c static
2) Fix memory leak in domain free
3) Fix error path in read (reported by aq)
4) Move reading of buffer limit to tty reconnect so that changes in
limit take affect more quickly.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Merge.

Manual merge.

Update -xen config file for net grant tables. Default to 'y' since this is the kernel we want to use on the test CD and we want to have grant tables on by default.

Signed-off-by: ian@xensource.com

Manula merge.

Fix typo in Linux header file. Totally harmless -- the code
was never actually compiled in to a XenLinux kernel.

Modify default Linux 2.6 config files to build for PentiumPro instead of Pentium4. No idea how that ended up being the default.

Signed-off-by: ian@xensource.com

Fix automatic toggling of PAE in Linux config files
Signed-off-by: ian@xensource.com

Since we use configs from dist/install/boot in preference to the default configs, update the PAE auto-switcher to work with these too.

Signed-off-by: ian@xensource.com

Don't enable PAE by default just yet.

fix netdriver grant table option back to n by default

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

merge?

Fix migration for SMP guests with 1 vcpu.
Free/setup timer irq on suspend/restore.
Only tested to localhost.  Also add initial code for >1 vcpu guests.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

update x86_64 config files for grant table in netdriver

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix CONFIG_VTI build
Signed-off-by: Arun Sharma <arun.sharma@intel.com>

Remove USB front/back from 2.4 build, totally.

Update xenstore python bindings for "Implement watching of nodes which don't exist."
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix SMP save/restore for 1 vcpu by adding suspend/resume functions for SMP.
We have to free_irq the irq vectors for the SMP ipi vectors.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix unbind_ipi_from_irq - evtchn_to_irq[evtchn] not irq_to_evtchn[evtchn].
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add prototype for bind_ipi_on_cpu_to_irq.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add prototype for balloon_init_watcher.
Also cleanup balloon_init_watcher whitespace.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Implement watching of nodes which don't exist.
Requires permission check every time event is generated.
Requires generalization of permissions: ask arbitrary number of
parents whether it's OK to tell about node (eg. watching
/dir/subdir/x when /dir is deleted: root permissions will now
determine whether we fire event).
Add test that we don't leak information on whether a file exists
or not.
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix typo.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix up non-valgrind case to send stderr to file like valgrind case does.
(Having trouble with signal delivery and valgrind, causing spurious test
timeouts)
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't abort on untranslatable errors: EINVAL and print warning
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Merging with xen-unstable

merge?

Fix checkpointing - add save/restore support to the xenbus driver.
- Add xenbus driver suspend/resume functions
- Change xenbus irq to not be shared
- Translate store mfn in suspend record to pfn and back
- Make tools re-introduce the domain to the store
Signed-off-by: Rusty Russel <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Better XenLinux page fault debug output for PAE.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fixes.

A few consoled tweaks. It's not worth building by default
right now as it isn;t actually used.

Remove some binary files.

This is the first patch to move the console code out of Xend and into a
separate daemon.  In this patch I've included the daemon and a
front-end.  I've also have the console code removed from Xend locally
but I wanted to clarify a few things first before submitting that.

Here's how it works:

1) Daemon sits on control channel (via xcs) waiting for console messages
2) Buffers all console data received
3) Publishes the location of a tty that can be used for reading in
/console/<domid>/tty
4) Reads a value from the store to determine what the limit of console
data should be (/console/<domid>/limit) to prevent DoS attacks

Using it is quite simple, just run consoled and use the xc_console
program to connect to the console.  It uses syslog for logging.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

This is the first patch to move the console code out of Xend and into a
separate daemon.  In this patch I've included the daemon and a
front-end.  I've also have the console code removed from Xend locally
but I wanted to clarify a few things first before submitting that.

Here's how it works:

1) Daemon sits on control channel (via xcs) waiting for console messages
2) Buffers all console data received
3) Publishes the location of a tty that can be used for reading in
/console/<domid>/tty
4) Reads a value from the store to determine what the limit of console
data should be (/console/<domid>/limit) to prevent DoS attacks

Using it is quite simple, just run consoled and use the xc_console
program to connect to the console.  It uses syslog for logging.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Manual merge.